台湾专利TW201319724A 影像處理裝置、影像處理方法及記錄媒體

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
數位相機1包括影像取得部52、臉部檢測部53、表情判定部55、表情決定部56及合成部58。影像取得部52係依序取得在既定方向移動拍攝範圍下所連續拍攝的影像。臉部檢測部53係從所依序取得之影像分別檢測出被攝體像。表情判定部55係算出所分別所檢測出之被攝體像的評估值。表情決定部56係根據所分別算出的評估值，從複數張該被攝體像決定特定的被攝體像，作為合成對象。合成部58係對所決定之合成對象的被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
公开号:TW201319724A
申请号:TW101135716
申请日:2012-09-28
公开日:2013-05-16
发明作者:Naotomo Miyamoto；Kosuke Matsumoto
申请人:Casio Computer Co Ltd；
IPC主号:H04N5-00

专利说明:
影像處理裝置、影像處理方法及記錄媒體
本發明係關於一種可生成廣範圍之影像的影像處理裝置、影像處理方法及記錄媒體。
在數位相機或具有拍攝功能的行動電話等，拍攝視角的界限取決於透鏡的焦點距離、拍攝元件的尺寸等裝置本體具備的硬體規格。
因此，作為用以取得超過硬體規格之廣角影像如所謂的全景影像的技術之一，以往已知有全景拍攝。
為了實現上述之全景拍攝，舉例而言，使用者將快門開關維持在按下操作的狀態，同時以自己的身體為軸，將數位相機於垂直方向上保持約略固定下，使其以朝水平方向旋轉的方式移動。
於是，數位相機在該期間執行複數次拍攝處理，且藉由朝橫方向(水平方向)合成該複數次之拍攝處理之個別結果所得到之複數個影像(以下稱為「拍攝影像」)的影像資料，而生成全景影像的影像資料。
日本專利文獻中(特開平11-282100號公報)中揭露一手法，其藉由在複數次的拍攝處理之每一次處理中檢測拍攝影像的特徵點，並以鄰接的兩張拍攝影像之特徵點彼此一致的方式朝橫方向合成複數個拍攝影像的影像資料，而生成全景影像的影像資料。
然而，該專利文獻仍有以下問題：作為全景影像，重視背景，而在全景影像包含人物等之被攝體的情況，並未重視該人物之配色是否漂亮。
本發明係鑑於此種問題而創作者，目的在於不管拍攝的時間點，皆可生成包含適合作為拍攝影像的被攝體之廣範圍的影像。
為了達成上述目的，本發明之一態樣的影像處理裝置之特徵為具備：影像取得手段，係取得在既定方向移動拍攝範圍下所連續拍攝的影像；檢測手段，係從藉該影像取得手段所取得之複數個影像分別檢測出同一被攝體像；算出手段，係分別算出藉該檢測手段所分別檢測出之被攝體像的評估值；決定手段，係根據藉該算出手段所分別算出的評估值，從該被攝體像決定特定的被攝體像，作為合成對象；及生成手段，係藉由對藉該決定手段所決定之合成對象的特定被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
本發明之一態樣的影像處理方法係具有取得在既定方向移動拍攝範圍下所連續拍攝之影像的影像取得手段之影像處理裝置的影像處理方法，其特徵為包含：檢測步驟，係從藉該影像取得手段所取得之複數個影像分別檢測出被攝體像；算出步驟，係算出藉該檢測步驟所分別檢測出之被攝體像的評估值；決定步驟，係根據藉該算出步驟所分別算出的評估值，從複數個該被攝體像決定特定的被攝體像，作為合成對象；及生成步驟，係藉由對藉該決定步驟所決定之被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
另外，本發明之一態樣的記錄媒體係記錄電腦可讀取之程式的記錄媒體，其使電腦實現作為如下之手段的功能：影像取得手段，係取得在既定方向移動拍攝範圍下所連續拍攝的影像；檢測手段，係從藉該影像取得手段所取得之複數個影像分別檢測出被攝體像；算出手段，係算出藉該檢測功能所分別檢測出之被攝體像的評估值；決定手段，係根據藉該算出功能所分別算出的評估值，從複數個該被攝體像決定特定的被攝體像，作為合成對象；及生成手段，係藉由對藉該決定手段所決定之被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
以下，參照圖式，說明根據本發明之實施形態。
第1圖係圖示作為本發明之拍攝裝置的一實施形態之數位相機1之硬體構造的方塊圖。
數位相機1包括：CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、匯流排14、光學系統15、拍攝部16、影像處理部17、記憶部18、顯示部19、操作部20、通訊部21、角速度感測器22及驅動裝置23。
CPU 11係依照記憶於ROM 12的程式或從記憶部18載入至RAM 13的程式，執行各種處理。ROM 12係除了記憶CPU 11用以執行各種處理的程式以外，還適當地記憶在CPU 11執行各種處理上所需的資料等。
例如，在本實施形態中，實現後述之第2圖的影像控制部51至合成部58之各功能的程式係記憶於ROM 12或記憶部18。因此，CPU 11執行依照此等程式的處理，並與後述之影像處理部17適當地協同動作，而可實現後述之第2圖之影像控制部51至合成部58的各功能。
CPU 11、ROM 12及RAM 13係經由匯流排14而互相連接。在此匯流排14另連接有光學系統15、拍攝部16、影像處理部17、記憶部18、顯示部19、操作部20、通訊部21、角速度感測器22及驅動裝置23。
光學系統15係為了拍攝被攝體，由聚光的透鏡，例如聚焦透鏡或變焦透鏡等所構成。聚焦透鏡係使被攝體像成像於拍攝部16之拍攝元件之受光面的透鏡。變焦透鏡係使焦點距離在一定範圍內變化自如的透鏡。在光學系統15中，依所需另設有調整焦點或曝光等的周邊裝置。
拍攝部16由光電變換元件或AFE(Analog Front End)等所構成。光電變換元件係例如由CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)型之光電變換元件所構成。光電變換元件係每隔一定時間將該期間所入射並蓄積之被攝體像的光信號進行光電變換(拍攝)，並將該結果所得之類比的電氣信號依序供給至AFE。
AFE係對該類比的電氣信號實施A/D(Analog/Digital)變換處理等各種信號處理，並輸出該結果所得之數位信號作為拍攝部16的輸出信號。
此外，以下將拍攝部16的輸出信號稱為「拍攝影像的影像資料」。因此，拍攝影像的影像資料從拍攝部16輸出，並適當地供給至影像處理部17等。
影像處理部17由DSP(Digital Signal Processor)、或VRAM(Video Random Access Memory)等所構成。
影像處理部17與CPU 11協同動作，對從拍攝部16所輸入之拍攝影像的影像資料，除了實施降低雜訊、白平衡、修正手振等之影像處理，還實施發揮後述之影像取得部52至合成部58之各功能所需的各種影像處理。
在此，以下只要未事先說明，「影像資料」即指每隔一定時間從拍攝部16所輸出之拍攝影像的影像資料，或該影像資料經加工等者。即，在本實施形態中，採用該影像資料作為處理單位。
記憶部18係由DRAM(Dynamic Random Access Memory)等所構成，並暫時記憶從影像處理部17所輸出之影像資料或後述之全景中間影像的影像資料等。另外，記憶部18亦記憶各種影像處理中所需的各種資料等。
顯示部19係例如以由LCD(Liquid Crystal Display液晶顯示裝置)或由LCD驅動部所構成之平面顯示面板而構成。顯示部19係將根據從記憶部18等所供給之影像資料而顯示的影像如後述的即時預覽影像依影像資料單位而顯示。
操作部20係除了快門開關41，還具有未圖示之電源開關、拍攝模式開關、播放開關等之複數個開關。操作部20在此等複數個開關中的既定開關被按下操作時，將對該既定開關所指定的指令供給至CPU 11。
通訊部21係控制經由包含網際網路的網路之與未圖示之其他的裝置之間的通訊。
角速度感測器22係由陀螺儀等所構成，檢測出伴隨全景影像時以使用者之身體為軸的轉動之數位相機1之水平方向的位移，並將表示檢測結果的數位信號(以下僅稱為「角度位移量」)供給至CPU 11。此外，角速度感測器22亦依需要發揮方位感測器的功能。
在驅動裝置23，適當地安裝有磁碟、光碟、光磁碟、或由半導體記憶體等所構成之可移除式媒體31。而且，可依需要將從移除式媒體31所讀出之程式安裝於記憶部18。另外，可移除式媒體31如同記憶部18，亦可記憶被記憶在記憶部18之影像資料等各種資料。
第2圖為一功能方塊圖，其圖示第1圖的數位相機1所執行之處理之中之為了執行從拍攝被攝體到將該結果所得到之拍攝影像的影像資料記錄於可移除式媒體31為止的一連串處理(以下稱「拍攝處理」)之功能性構造。
如第2圖所示，在執行拍攝處理的情況，在CPU 11，影像控制部51發揮功能，在影像處理部17，影像取得部52、臉部檢測部53、臉部區域抽出部54、表情判定部55、表情決定部56、表情變更部57及合成部58發揮功能。此外，影像控制部51的功能不必特別如本實施形態般搭載於CPU 11，亦可使該功能轉移至影像處理部17。反之，影像取得部52至合成部58的各功能係不必特別如本實施形態般搭載於影像處理部17，亦可等功能之至少一部分轉移至CPU 11。
影像控制部51控制整個拍攝處理的執行。例如，作為數位相機1的動作模式，影像控制部51可選擇性地切換一般拍攝模式和全景拍攝模式，並執行依照切換後之動作模式的處理。若是全景拍攝模式，影像取得部52至合成部58在影像控制部51的控制下動作。
在此，為了易於理解影像取得部52至合成部58，在說明此等功能性構造之前，適當地參照第3圖及第4圖而詳細說明全景拍攝模式。
第3A圖和第3B圖為說明作為第1圖之數位相機的動作模式而分別選擇一般拍攝模式與全景拍攝模式時之拍攝操作的圖。詳細而言，第3A圖係說明一般拍攝模式中之拍攝操作的圖。第3B圖係說明全景拍攝模式中之拍攝操作的圖。
在第3A圖及第3B圖之兩圖中，在數位相機1深處的圖像表示包含數位相機1之被攝體之實際景象之情況。另外，第3B圖所示之縱向虛線表示數位相機1之移動方向的各位置a、b、c。數位相機1之移動方向係指使用者以自己的身體為軸使數位相機1之拍攝方向(角度)變化時之數位相機1的光軸所移動的方向。數位相機1之移動方向的位移量係藉角速度感測器22以角度位移量檢測出。
一般拍攝模式係指在拍攝與數位相機1的視角對應之尺寸(解析度)的影像時的動作模式。
一般拍攝模式係如第3A圖所示，使用者在使數位相機1固定之狀態下，將操作部20的快門開關41按下至下限。此外，以下將如此按下操作部20的快門開關41按至下限的操作稱為「全按操作」或僅稱為「全按」。
影像控制部51係控制將在緊接著全按操作之後從影像處理部17所輸出之影像資料作為記錄對象而記錄於可移除式媒體31為止的一連串處理之執行。
以下，將如此在一般拍攝模式藉由影像控制部51的控制所執行之一連串的處理稱為「一般拍攝處理」。
另一方面，全景拍攝模式係指在拍攝全景影像時的動作模式。
全景拍攝模式係如第3B圖所示，使用者係在維持快門開關41之全按操作的狀態下，使數位相機1朝同圖之黑色箭號的方向移動。
影像控制部51在維持全按操作期間，控制影像取得部52至合成部58，重複每當來自角速度感測器22的角度位移量成為一定值，即取得剛從拍攝部16所輸出之影像資料而暫時記憶於記憶部18。
然後，影像控制部51控制影像取得部52至合成部58，藉由對記憶部18所記憶之鄰接的影像資料之間朝水平方向依序合成，而生成全景影像的影像資料。在此，鄰接的影像資料係指藉在全景拍攝中由第K(K為1以上的整數值)次的拍攝所得之拍攝影像的影像資料與在該在全景拍攝中由第K+1次的拍攝所得之拍攝影像的影像資料。此外，關於影像資料的合成，未限定為鄰接之兩個影像資料的合成，亦可採用每取得兩個以上之任意個數的影像資料就合成，亦可採用在取得成為合成對象之全部的影像資料後合成。
然後，使用者藉由進行解除全按操作的操作，亦即令手指等離開快門開關41的操作(以下將這種操作稱為「解除操作」)，而指示結束全景拍攝時，影像控制部51控制合成部58等，將全景影像的影像資料作為記錄對象而記錄於可移除式媒體31。
據此，影像控制部51在全景拍攝模式中控制影像取得部52至合成部58，並控制至生成全景影像的影像資料且將其作為記錄對象而記錄於可移除式媒體31為止的一連串處理。
以下將如此在全景拍攝模式藉影像控制部51的控制所執行之一連串的處理稱為「全景拍攝處理」。
第4圖係圖示在第3圖所示之全景拍攝模式中藉影像取得部52至合成部58而生成之全景影像的影像資料。
即，在全景拍攝模式中，進行如第3B圖所示之拍攝操作時，在影像控制部51的控制下，藉影像取得部52至合成部58生成如第4圖所示之全景影像P1的影像資料，並記錄於可移除式媒體31。
在此，在全景拍攝模式生成包含人物等之被攝體的全景影像之影像資料的情況，在合成源之複數個影像資料的各個可能被攝體相異，在這種情況，生成包含最耀眼的被攝體之全景影像的影像資料較佳。具體而言，在全景影像的合成源之複數個影像資料的各個，有在某影像資料人物合眼，而在別的影像資料人物張開眼的情況，在這種情況，生成包含張開眼的人物之全景影像的影像資料較佳。
因此，在本實施形態的數位相機1，影像取得部52至合成部58係在影像控制部51的控制下執行如下處理。
影像取得部52在每當數位相機1僅移動既定量時(每當角度位移量成為一定值)，接受從影像控制部51所發出之取得指令，從影像處理部17依序取得影像資料。
臉部檢測部53係分析影像取得部52所取得之影像資料，並檢測出該影像資料所含之人物的臉部資訊(至少包含臉部部分的位置及大小)。此外，藉臉部檢測部53之臉部的檢測係可藉已周知之任意的方法進行。
臉部區域抽出部54係從臉部檢測部53所檢測出之臉部的影像資料抽出臉部區域。此外，作為抽出的臉部區域，可設定適合合成處理之任意的區域，例如亦可採用包含眼、鼻、口之臉部部分的區域，亦可採用包含臉部部分與頭部分的區域，亦可採用包含影像資料所含之人物之全部的區域。
表情判定部55進行臉部檢測部53所檢測出之臉部的表情判定。表情判定係用以判定適合作為拍攝影像之人物的表情(笑臉)，例如，預先對眼之大小或口之形狀等決定分數，以該分數評估臉部檢測部53所檢測出之臉部，並算出判定對象之臉部的評估值，藉此執行。
表情決定部56係決定表情判定部55所算出之評估值為既定值以上的臉部，作為合成對象的臉部，並將包含所決定的臉部之臉部區域的影像資料儲存於記憶體(在本實施形態為記憶部18)。此外，亦可表情決定部56決定所算出之評估值最高的臉部，作為合成對象的臉部。另外，關於既定值以上的臉部，可任意地設定，例如可預先設定成為笑臉的評估值。
表情變更部57係將包含表情判定部55所算出之評估值未滿既定值的臉部之臉部區域的影像資料變更成包含表情決定部56所決定之合成對象的臉部之臉部區域的影像資料。
合成部58係對影像取得部52所取得之影像資料中鄰接的影像資料彼此進行合成，而生成全景影像的影像資料。具體而言，合成部58係對是影像取得部52所取得之影像資料並是藉表情變更部57變更臉部區域後的影像資料中鄰接的影像資料彼此進行合成，而生成全景影像的影像資料。換言之，合成部58係執行與使用影像取得部52所取得的複數個影像資料所含之人物的臉部中表情決定部56所決定之臉部來生成全景影像的影像資料之處理等價的處理。
參照第5A圖、第5B圖，說明如以上所示之藉影像取得部52至合成部58所生成之全景影像的影像資料。第5A圖係圖示全景影像的合成所使用之藉影像取得部52所取得之影像資料，第5B圖係圖示從第5A圖的影像資料所生成之全景影像的影像資料。
參照第5A圖，藉影像取得部52取得拍攝影像Fa的影像資料時，臉部檢測部53從拍攝影像Fa檢測出被攝體(人物A)的臉部100。接著，臉部區域抽出部54從檢測出臉部100的拍攝影像Fa抽出臉部區域100a。此外，關於臉部區域100a，可設為任意的區域。例如，亦可設為僅臉部100的區域，亦可設為如第5A圖所示合併臉部100與頭(髪)的區域，亦可設為拍攝影像Fa所含的人物之全部的區域。
接著，表情判定部55對拍攝影像Fa的臉部100，從眼之大小或口的形狀算出評估值。在第5A圖，因為臉部100是笑臉且眼亦為張大，所以表情判定部55特定既定值以上的評估值。因此，表情決定部56決定臉部100，作為全景影像所使用之臉部，並將臉部100之臉部區域100a之部分的影像資料儲存於記憶部18。
同樣地，在拍攝影像Fa的影像資料之後藉影像取得部52連續地取得拍攝影像Fb的影像資料時，臉部檢測部53從拍攝影像Fb檢測出被攝體(同一人物A)的臉部110後，臉部區域抽出部54從檢測出臉部110之拍攝影像Fb的影像資料抽出臉部區域110a。
接著，表情判定部55對拍攝影像Fb的臉部110算出評估值，但是因為臉部110是閉眼，所以表情判定部55算出未滿既定值的評估值。因此，表情變更部57將臉部110之臉部區域110a之部分的影像資料變更成記憶部18所儲存之臉部100之臉部區域100a之部分的影像資料。
然後，合成部58係藉由對包含拍攝影像Fa及拍攝影像Fb之複數個拍攝影像之各個影像資料依序合成，而生成第5B圖所示之全景影像P2的影像資料。此時，因為使用藉表情決定部56所決定之臉部100的臉部區域100a生成全景影像P2，所以如第5B圖所示，可得到包含更耀眼之被攝體的全景影像。
以上，參照第2圖至第5圖，說明應用本發明之數位相機1的功能性構成。其次，參照第6圖，說明具有這種功能性構成之數位相機1所執行的拍攝處理。
第6圖係圖示拍攝處理的流程之一例的流程圖。在本實施形態中，拍攝處理係在數位相機1之未圖示的電源成為開啟狀態並滿足既定條件時開始。
在步驟S1，第2圖的影像控制部51執行操作檢測處理及初始設定處理。
操作檢測處理係指檢測出操作部20之各開關之狀態的處理。作為動作模式，影像控制部51係藉由執行操作檢測處理，而檢測所設定的是一般拍攝模式或是全景拍攝模式。
另外，作為本實施形態的一個初始設定處理，採用設定角度位移量的一定值及作為最大角度位移量之角度位移閾值(例如360度)的處理。具體而言，角度位移量的一定值與作為最大角度位移量之角度位移閾值(例如360度)係預先記憶在第1圖的ROM 12，以從ROM 12讀出且寫入RAM 13之方式作設定。此外，角度位移量的一定值係用於後述的第7圖之步驟S31的判定處理。另一方面，作為最大角度位移量之角度位移閾值(例如360度)係用於在第7圖之步驟S37的判定處理。
在步驟S2，影像控制部51使即時預覽拍攝處理及即時預覽顯示處理開始。
即，影像控制部51控制拍攝部16等，使拍攝部16繼續進行拍攝動作。而且，影像控制部51係在拍攝部16繼續進行拍攝動作之期間，使從該拍攝部16所依序輸出之影像資料暫時記憶於記憶體(在本實施形態為記憶部18)。這種藉影像控制部51之一連串的控制處理係在此所指之「即時預覽拍攝處理」。
另外，影像控制部51係在即時預覽拍攝時依序讀取暫時記憶於記憶體(在本實施形態為記憶部18)所之各影像資料，並於顯示部19依序顯示對應各影像資料之影像。此種藉影像控制部51之一連串控制處理係在此所指之「即時預覽顯示處理」。此外，以下將藉即時預覽顯示處理而在顯示部19顯示的影像稱為「即時預覽影像」。
在步驟S3，影像控制部51判定快門開關41是否被半按。在此，半按係指將操作部20之快門開關41按下到中間(未到達下限之既定位置)的操作。以下亦可酌情稱作「半按操作」。
在快門開關41未被半按的情況，在步驟S3會判定為否，處理移至步驟S9。
在步驟S9，影像控制部51判別是否已下達結束處理的指示。結束處理的指示雖然未特別限定，但在本實施形態中係採用通知數位相機1之未圖示的電源成為關閉狀態。
因此，本實施形態中，當電源變成關閉狀態而通知影像控制部51時，在步驟S9判定為是，並結束整個拍攝處理。
相對地，在電源為開啟狀態的情況，因為不通知電源成為關閉狀態，所以在步驟S9判定為否，而處理回到步驟S2，並重複之後的處理。即，本實施形態中，只要電源保持開啟狀態，則至快門開關41被半按為止之期間，重複執行步驟S3：否及步驟S9：否的循環處理，而拍攝處理成為待機狀態。
另一方面，在即時預覽顯示處理中，快門開關41被半按時，在步驟S3判定為是，處理移至步驟S4。
在步驟S4，影像控制部51控制拍攝部16，執行所謂的AF(Auto Focus)處理。
在步驟S5，影像控制部51判定快門開關41是否被全按。
在快門開關41未被全按的情況，在步驟S5判定為否。在此情況，處理回到步驟S4，並重複之後的處理。即，本實施形態中，至快門開關41被全按為止的期間，重複執行步驟S4及步驟S5：否的循環處理，並每次都執行AF處理。
然後，快門開關41被全按時，在步驟S5判定為是，處理移至步驟S6。在步驟S6，影像控制部51判定現在所設定之動作模式是否是全景拍攝模式。
在不是全景拍攝模式的情況，即在現在設定一般拍攝模式的情況，在步驟S6判定為否，處理移至步驟S7。在步驟S7，影像控制部51執行上述之一般拍攝處理。即，將緊接著進行全按操作後隨即從影像處理部17所輸出之一個影像資料作為記錄對象而記錄於可移除式媒體31。藉此，步驟S7之一般拍攝處理結束，處理移至步驟S9。此外，因為關於步驟S9以後的處理在上面已說明，所以在此省略其等之說明。
相對地，在現在設定全景拍攝模式的情況，在步驟S6判定為是，處理移至步驟S8。
在步驟S8，影像控制部51執行上述之全景拍攝處理。關於全景拍攝處理的細節，參照第7圖如後述，影像控制部51係生成全景影像的影像資料，並作為記錄對象而記錄於可移除式媒體31。藉此，步驟S8之全景拍攝處理結束，處理移至步驟S9。此外，因為關於步驟S9之後的處理在上面已說明，所以在此省略其等之說明。
以上，參照第6圖，說明了拍攝處理的流程。其次，參照第7圖，說明第6圖的拍攝處理中步驟S8之全景拍攝處理的詳細流程。
第7圖係說明全景拍攝處理之詳細流程的流程圖。如上述，在全景拍攝模式之狀態下快門開關41被全按時，在第6圖的步驟S5及S6判定為是，處理移至步驟S8，且作為全景拍攝處理而執行如下的處理。
在步驟S31，影像控制部51判定是否數位相機1已移動一定距離。即，影像控制部51判定從角速度感測器22所供給之角度位移量是否成為一定值。數位相機1移動或角度位移量變化係指數位相機之拍攝範圍移動。
在數位相機1未移動一定距離的情況，在步驟S31判定為否。在此情況，處理回到步驟S31。即，至數位相機1移動一定距離，全景拍攝處理成為待機狀態。
相對地，在數位相機1已移動一定距離的情況，在步驟S31判定為是，處理移至步驟S32。
在步驟S32，影像取得部52係在影像控制部51的控制下，取得從拍攝部16所輸出之影像資料(合成對象)。即，影像取得部52係每當從角速度感測器22所供給之角度位移量成為一定值，取得剛從拍攝部16所輸出之影像資料。
在步驟S33，臉部檢測部53係在影像控制部51的控制下，分析影像取得部52所取得之影像資料，並判定在該影像資料中人物的臉部(被攝體像)是否存在。
在影像資料中人物之臉部不存在的情況，在步驟S33判定為否，在此情況，處理移至步驟S35。
另一方面，在影像資料中人物之臉部存在的情況，在步驟S33判定為是，在此情況，處理移至步驟S34。
在步驟S34，影像控制部51進行表情判定處理。關於表情判定處理之細節，將參照第8圖如後述，影像控制部51控制表情判定部55，判定影像資料所含之臉部的表情。藉此，步驟S34之表情判定處理結束，處理移至步驟S35。
在步驟S35，影像控制部51進行影像合成處理。關於影像合成處理之細節，將參照第9圖如後述，影像控制部51控制合成部58，對鄰接的影像資料彼此依序合成，而生成全景影像的影像資料。藉此，步驟S35的影像合成處理結束，處理移至步驟S36。
在步驟S36，影像控制部51判定使用者是否指示結束。關於使用者之結束指示，可任意地設定，例如可將使用者解除對快門開關41的全按當作使用者之結束指示。
在使用者有結束指示的情況，在步驟S36判定為是，而全景拍攝處理結束。
另一方面，在使用者無結束指示的情況，在步驟S36判定為否，而在此情況下，處理移至步驟S37。
在步驟S37，影像控制部51判定在影像取得方向的移動距離是否超過閾值。即，判定從角速度感測器22所供給之角度位移量的累積值成為最大角度位移閾值(例如360度)。
在影像取得方向的移動距離超過閾值的情況，在步驟S37判定為是，全景拍攝處理結束。
另一方面，在影像取得方向的移動距離未超過閾值的情況，在步驟S37判定為否，而在此情況下，處理回到步驟S31。即，在使用者無結束指示，且影像取得方向的移動距離未超過閾值的情況，全景拍攝處理繼續，而重複新的影像資料之取得及該影像資料之合成的處理。
以上，參照第7圖，說明了全景拍攝處理的流程。其次，參照第8圖，說明第7圖之全景拍攝處理中步驟S34之表情判定處理的詳細流程。第8圖係說明表情判定處理之詳細流程的流程圖。
在步驟S51，臉部區域抽出部54係在影像控制部51的控制下，從包含人物之臉部的影像資料抽出臉部區域。此外，關於臉部區域，亦可如上述採用僅包含眼、鼻、口之臉部部分的區域，另外亦可採用包含臉部部分與頭部分的區域，亦可採用包含人物之全部的區域。
抽出臉部區域時，在步驟S52，表情判定部55係在影像控制部51的控制下，算出藉臉部檢測部53所檢測出之臉部的評估值。即，表情判定部55係根據影像資料所含之臉部之眼的大小或口的形狀等，算出判定對象之臉部的評估值。
然後，在步驟S53，表情判定部55係在影像控制部51的控制下，判定是否所算出之評估值是既定值以上。
在所算出之評估值不是既定值以上的情況，在步驟S53判定為否，而表情判定處理結束。
另一方面，在所算出之評估值是既定值以上的情況，在步驟S53判定為是，在此情況，處理移至步驟S54。
在步驟S54，表情決定部56係在影像控制部51的控制下，將被判定既定值以上的評估值之臉部的臉部區域之部分的影像資料儲存於記憶部18，而結束表情判定處理。
以上，參照第8圖，說明表情判定處理的流程。
其次，參照第9圖，說明第7圖之全景拍攝處理中步驟S35之影像合成處理的詳細流程。第9圖係說明影像合成處理之詳細流程的流程圖。
在步驟S71，影像控制部51係在成為合成對象之鄰接的影像資料，判定是否在被攝體有動作。在此，在本實施形態，決定將評估值是未滿既定值之臉部區域之部分的影像資料改寫成評估值是既定值以上之臉部區域之部分的影像資料(後述的步驟S75)。因此，在步驟S71之被攝體的動作係指不適合臉部區域之影像資料之改寫的動作，例如係指如臉部區域之形狀變化的動作或在視角內之臉部區域之位置(考慮到角度位移量)變化的動作等。另一方面，在臉部區域內之被攝體的動作，例如閉眼等之表情的變化係不包含於在步驟S71之被攝體的動作。
在被攝體有動作的情況，判定在步驟S71是是，在此情況，處理移至步驟S76。
另一方面，在被攝體無動作的情況，在步驟S71判定為否，而在此情況下，處理移至步驟S72。
在步驟S72，影像控制部51判定在所合成的影像資料中是否存在臉部區域。此外，在本實施形態中，所合成的影像資料係亦可採用鄰接的影像資料中之在後面所取得之影像資料，另外，亦可採用鄰接之影像資料的雙方。
在所合成的影像資料中臉部區域不存在的情況，在步驟S72判定為否，在此情況，處理移至步驟S76。
在所合成的影像資料中臉部區域存在的情況，在步驟S72判定為是，在此情況，處理移至步驟S73。
在步驟S73，表情判定部55係在影像控制部51的控制下，判定是否所合成的影像資料之臉部區域的評估值是既定值以上。
在所合成的影像資料之臉部區域的是既定值以上的情況，在步驟S73判定為是，而在此情況下，處理移至步驟S76。
另一方面，在所合成的影像資料之臉部區域的評估值不是既定值以上的情況，在步驟S73判定為否，而在此情況下，處理移至步驟S74。
在步驟S74，表情變更部57係在影像控制部51的控制下，判定既定值以上的評估值之臉部區域之部分的影像資料是否已儲存於記憶部18。
在既定值以上的評估值之臉部區域之部分的影像資料未儲存於記憶部18的情況，在步驟S74判定為否，而在此情況下，處理移至步驟S76。
另一方面，在既定值以上之評估值的臉部區域之部分的影像資料已儲存於記憶部18的情況，在步驟S74判定為是，而在此情況下，處理移至步驟S75。
在步驟S75，表情變更部57係在影像控制部51的控制下，將在步驟S73被判定未滿既定值之評估值的臉部區域之部分的影像資料改寫成記憶部18所儲存之既定值以上之評估值的臉部區域之部分的影像資料。
然後，在步驟S76，合成部58係在影像控制部51的控制下，對鄰接的影像資料彼此進行合成，而生成全景影像的影像資料，並結束影像合成處理。
若依據如所述之本實施形態的數位相機1，臉部檢測部53檢測出影像資料所含之人物的臉部時，表情判定部55判定該臉部的表情。然後，表情決定部56係根據表情判定部55之表情判定的結果，決定適合作為拍攝影像的臉部，作為合成對象之人物的臉部後，合成部58係以包含所決定的人物之臉部的方式進行全景合成。
藉此，即使是在全景影像的拍攝中是被攝體之人物的表情變化的情況，例如在全景影像的拍攝中閉眼的情況，亦可使用不是在閉眼之時間點而是在張開眼之時間點所拍攝的影像資料，生成全景影像的影像資料，而可得到包含適合之表情之人物的全景影像。
另外，在數位相機1，臉部區域抽出部54從合成對象的影像資料抽出包含人物之臉部的臉部區域，表情決定部56預先將包含適合作為拍攝影像之臉部的臉部區域之部分的影像資料儲存於記憶部18。然後，表情變更部57係在所合成之影像資料所含的臉部不適合作為拍攝影像的情況，將該臉部區域改寫成記憶部18所儲存之臉部區域之部分的影像資料後，進行全景合成。
藉此，可防止對不適合作為拍攝影像的臉部與適合的臉部進行合成，而可生成自然的全景合成。
另外，關於在成為全景拍攝處理之對象的拍攝範圍中複數位人物存在的情況之全景合成的方法，在以下記載為變形例。 [變形例]
在成為全景拍攝處理之對象的拍攝範圍中存在複數位人物(例如人物A、B、C)的情況，使用藉臉部檢測部53最初所檢測出之各人物的臉部資訊，臉部區域抽出部54藉樣本比對技術特定與最初所檢測出之各人物(人物A、B、C)對應之臉部的位置後，抽出與該特定之各個位置對應之各人物的臉部區域即可。
然後，表情判定部55對各個人物的臉部區域算出評估值後，表情決定部56將成為既定值以上之臉部區域分別儲存於記憶部18。
關於以後的全景拍攝處理，只要對各個人物的臉部區域進行與上述之實施形態相同的處理即可。
另外，關於複數個人物(人物A、B、C)之臉部位置的特定方法，決定使用樣本比對技術，但是各臉部位置的特定方法係未限定如此。
例如，亦可作成藉由預先使記憶部18記憶各人物的臉部資訊，而臉部檢測部53根據記憶部18所記憶之各人物的臉部資訊，從全景拍攝處理中之各影像檢測出各人物的臉部。
此外，本發明係未限定為上述的實施形態，在可達成本發明的目的之範圍的變形、改良等係包含於本發明。
例如，在上述的實施形態，採用每當取得一個影像資料就進行影像合成處理(在第7圖之步驟S31判定是時進行步驟S35)，但是未限定如此，亦可採用在取得全景合成用之全部的影像資料後進行影像合成處理，亦可採用每當取得兩個以上之任意個數的影像資料就進行影像合成處理。
另外，在上述的實施形態，在改寫臉部區域後進行全景合成，但是影像合成處理的順序係未限定如此。即，亦可在進行全景合成後改寫該臉部區域。
另外，在上述的實施形態，採用使用評估值來判定人物之臉部的表情，並以適合作為拍攝影像的臉部進行全景合成，但是使用評估值所判定之對象係未限定為表情。例如，亦設想在全景影像的拍攝中人物上有陰影的情況等，而使用評估值來判定人物的明亮度等。
另外，在上述的實施形態，作為合成對象之的影像資料所含之被攝體像的一例，使用人物的臉部，但是未限定如此。例如，亦可將動物的臉部作為合成對象之影像資料所含的被攝體像。在此情況，作為使用評估值判定的對象，亦可應用動物是否閉眼等。
另外，在上述的實施形態，應用本發明之影像處理裝置係以數位相機1為例加以說明，但是未特別限定如此。本發明係可應用於具有可生成全景影像之功能的電子機器整體，例如可廣泛地應用於攜帶式個人電腦、攜帶式導航裝置、攜帶式遊戲機等。
上述之一連串的處理係亦可藉硬體執行，亦可藉軟體執行。
在藉軟體執行一連串的之處理的情況，從網路或記錄媒體將構成該軟體的程式安裝於影像處理裝置或控制該影像處理裝置的電腦等。在此，亦可電腦係被裝入專用硬體的電腦。或者，亦可電腦係藉由安裝各種程式而可執行各種功能的電腦，例如是泛用的個人電腦。
這種包含程式的記錄媒體係不僅由為了向使用者提供程式而與裝置本體分開地分發的可移除式媒體31所構成，而且由以預先裝入裝置本體之狀態向使用者所提供的記錄媒體等所構成。可移除式媒體31係例如由磁碟(包含軟碟)、光碟、光磁碟等所構成。另外，以預先裝入裝置本體之狀態向使用者所提供的記錄媒體係例如由記錄程式的ROM 12或記憶部18所包含的硬碟等所構成。
此外，在本專利說明書中，關於記述記錄媒體所記錄之程式的步驟，按照其順序以時間序列所進行之處理係理所當然，亦包含即使未必以時間序列受到處理亦被並列或個別地執行的處理。
以上，說明了本發明之幾個實施形態，但是此等實施形態只不過是舉例表示，不是用以限定本發明之技術性範圍。本發明係可採用其他的各種實施形態，進一步在不超出本發明之主旨的範圍下，進行省略或替代等各種的變更。此等實施形態或變形係包含於在本專利說明書等所記載之發明的範圍或要旨，而且包含於在申請專利範圍所記載之發明和其相等的範圍。
1‧‧‧數位相機
11‧‧‧CPU
12‧‧‧ROM
13‧‧‧RAM
14‧‧‧匯流排
15‧‧‧光學系統
16‧‧‧拍攝部
17‧‧‧影像處理部
18‧‧‧記憶部
19‧‧‧顯示部
20‧‧‧操作部
21‧‧‧通訊部
22‧‧‧角速度感測器
23‧‧‧驅動裝置
31‧‧‧可移除式媒體
41‧‧‧快門開關
51‧‧‧影像控制部
52‧‧‧影像取得部
53‧‧‧臉部檢測部
54‧‧‧臉部區域抽出部
55‧‧‧表情判定部
56‧‧‧表情決定部
57‧‧‧表情變更部
58‧‧‧合成部
第1圖係圖示作為本發明之拍攝裝置的一實施形態之數位相機之硬體構成的方塊圖。
第2圖係圖示第1圖的數位相機用以執行拍攝處理之功能性構成的功能方塊圖。
第3A圖、第3B圖係說明作為第2圖之數位相機的動作模式，在分別選擇一般拍攝模式與全景拍攝模式的情況之拍攝操作的圖。
第4圖係藉第3A圖、第3B圖所示之全景拍攝模式所生成的全景影像之一例的圖。
第5A圖、第5B圖係圖示在全景影像之合成所使用的影像資料及從該影像資料所生成之全景影像的影像資料之一例的圖。
第6圖係圖示第2圖的數位相機所執行之拍攝處理的流程之一例的流程圖。
第7圖係圖示第6圖之拍攝處理中全景拍攝處理之詳細流程的流程圖。
第8圖係圖示第7圖之全景拍攝處理中表情判定處理之詳細流程的流程圖。
第9圖係圖示第7圖之全景拍攝處理中影像合成處理之詳細流程的流程圖。
11‧‧‧CPU
16‧‧‧拍攝部
17‧‧‧影像處理部
18‧‧‧記憶部
20‧‧‧操作部
22‧‧‧角速度感測器
31‧‧‧可移除式媒體
41‧‧‧快門開關
51‧‧‧影像控制部
52‧‧‧影像取得部
53‧‧‧臉部檢測部
54‧‧‧臉部區域抽出部
55‧‧‧表情判定部
56‧‧‧表情決定部
57‧‧‧表情變更部
58‧‧‧合成部

权利要求:
Claims (7)
[1] 一種影像處理裝置，其特徵為包括：影像取得手段，係取得在既定方向移動拍攝範圍下所連續拍攝的影像；檢測手段，係從藉該影像取得手段所取得之複數個影像分別檢測出同一被攝體像；算出手段，係分別算出藉該檢測手段所分別檢測出之被攝體像的評估值；決定手段，係根據藉該算出手段所分別算出的評估值，從該被攝體像決定特定的被攝體像，作為合成對象；及生成手段，係藉由對藉該決定手段所決定之合成對象的特定被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
[2] 如申請專利範圍第1項之影像處理裝置，其中更包括：被攝體抽出手段，係在該複數個影像中從該被攝體像抽出被攝體區域；及被攝體變更手段，係將構成藉該被攝體抽出手段所抽出之被攝體區域的影像變更成該特定的被攝體像；該生成手段係對該特定的被攝體像與該依序取得的影像進行合成，而生成該廣範圍的影像。
[3] 如申請專利範圍第1項之影像處理裝置，其中該取得手段係取得包含複數種同一被攝體像的複數個影像；該檢測手段係從該取得之複數個影像檢測出複數種同一被攝體像；該算出手段係算出關於藉該檢測手段所檢測出之複數種同一被攝體像的複數個評估值；該決定手段係根據藉該算出手段所算出之關於複數個被攝體像的複數個評估值，從該檢測出之複數個被攝體像決定複數個特定的被攝體像，作為成合成對象；該生成手段係藉由對藉該決定手段所決定之合成對象的複數個特定被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
[4] 如申請專利範圍第1項之影像處理裝置，其中該被攝體像係以臉部區域為中心的影像。
[5] 如申請專利範圍第1項之影像處理裝置，其中更具有拍攝手段；該影像取得手段係依序取得藉該拍攝手段所拍攝之影像。
[6] 一種影像處理方法，係具有取得在既定方向移動拍攝範圍下所連續拍攝之影像的影像取得手段之影像處理裝置的影像處理方法，其特徵為包含：檢測步驟，係從藉該影像取得手段所取得之複數個影像分別檢測出被攝體像；算出步驟，係算出藉該檢測步驟所分別檢測出之被攝體像的評估值；決定步驟，係根據藉該算出步驟所分別算出的評估值，從複數個該被攝體像決定特定的被攝體像，作為合成對象；及生成步驟，係藉由對藉該決定步驟所決定之被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。
[7] 一種記錄媒體，係記錄電腦可讀取之程式的記錄媒體，該記錄媒體係用以使電腦實現作為如下之手段的功能：影像取得手段，係取得在既定方向移動拍攝範圍下所連續拍攝的影像；檢測手段，係從藉該影像取得手段所取得之複數個影像分別檢測出被攝體像；算出手段，係算出藉該檢測功能所分別檢測出之被攝體像的評估值；決定手段，係根據藉該算出功能所分別算出的評估值，從複數個該被攝體像決定特定的被攝體像，作為合成對象；及生成手段，係藉由對藉該決定手段所決定之被攝體像與藉該取得手段所依序取得之影像進行合成，而生成廣範圍的影像。

类似技术:

公开号 | 公开日 | 专利标题

TWI425826B|2014-02-01|影像選擇裝置、影像選擇方法

US8199221B2|2012-06-12|Image recording apparatus, image recording method, image processing apparatus, image processing method, and program

JP4254873B2|2009-04-15|画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム

KR101034109B1|2011-05-13|촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체

TWI477887B|2015-03-21|影像處理裝置、影像處理方法及記錄媒體

US8350918B2|2013-01-08|Image capturing apparatus and control method therefor

JP2008139683A|2008-06-19|撮像装置及びオートフォーカス制御方法

JP4802884B2|2011-10-26|撮像装置、撮像画像記録方法、及び、プログラム

JP5125734B2|2013-01-23|撮像装置、画像選択方法及び画像選択プログラム

JP5228354B2|2013-07-03|ディジタルカメラ

JP2007299297A|2007-11-15|画像合成装置およびその制御方法

JP2008301162A|2008-12-11|撮影装置、及び撮影方法

JP2009089220A|2009-04-23|撮像装置

JP2010171491A|2010-08-05|撮影装置、撮影方法及びプログラム

JP2011239267A|2011-11-24|撮像装置及び画像処理装置

JP2020161954A|2020-10-01|画像処理装置、撮像装置、画像処理方法、およびプログラム

KR101905813B1|2018-10-08|영상비교장치

JP2008172395A|2008-07-24|撮像装置、画像処理装置、方法およびプログラム

JP5200820B2|2013-06-05|撮像装置及び撮像方法、画像処理プログラム

JP2013081136A|2013-05-02|画像処理装置および制御プログラム

JP6391304B2|2018-09-19|撮像装置、制御方法およびプログラム

JP2008283572A|2008-11-20|撮像装置

JP2021105850A|2021-07-26|画像処理装置及び方法、及び撮像装置

JP6486132B2|2019-03-20|撮像装置およびその制御方法、並びにプログラム

JP6278688B2|2018-02-14|撮像装置、撮像装置の制御方法及びプログラム

同族专利:

公开号 | 公开日

US9270881B2|2016-02-23|

KR20130035207A|2013-04-08|

KR101325002B1|2013-11-08|

CN103037156B|2015-12-16|

CN103037156A|2013-04-10|

US20130083158A1|2013-04-04|

JP2013074572A|2013-04-22|

TWI477887B|2015-03-21|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US6714665B1|1994-09-02|2004-03-30|Sarnoff Corporation|Fully automated iris recognition system utilizing wide and narrow fields of view|

JP3403060B2|1998-03-27|2003-05-06|三洋電機株式会社|パノラマ画像撮影装置、およびパノラマ画像生成装置|

JP2004048648A|2002-05-13|2004-02-12|Fuji Photo Film Co Ltd|特殊効果画像の作成方法及びカメラ並びに画像サーバ|

WO2004004320A1|2002-07-01|2004-01-08|The Regents Of The University Of California|Digital processing of video images|

US20040189849A1|2003-03-31|2004-09-30|Hofer Gregory V.|Panoramic sequence guide|

JP2005012660A|2003-06-20|2005-01-13|Nikon Corp|画像生成方法、画像生成装置|

US7358498B2|2003-08-04|2008-04-15|Technest Holdings, Inc.|System and a method for a smart surveillance system|

US8705808B2|2003-09-05|2014-04-22|Honeywell International Inc.|Combined face and iris recognition system|

US7499079B2|2004-03-18|2009-03-03|Northrop Grumman Corporation|Multi-camera image stitching for a distributed aperture system|

US20050289582A1|2004-06-24|2005-12-29|Hitachi, Ltd.|System and method for capturing and using biometrics to review a product, service, creative work or thing|

CN101061721B|2005-06-07|2010-05-26|松下电器产业株式会社|监视系统、监视方法及摄像机终端|

JP4093273B2|2006-03-13|2008-06-04|オムロン株式会社|特徴点検出装置、特徴点検出方法および特徴点検出プログラム|

KR100827089B1|2006-04-25|2008-05-02|삼성전자주식회사|파노라마 사진 촬영 방법|

JP2008131094A|2006-11-16|2008-06-05|Fujifilm Corp|撮像装置および撮像方法|

JP2008197889A|2007-02-13|2008-08-28|Nippon Telegr & Teleph Corp <Ntt>|静止画生成方法、静止画生成装置および静止画生成プログラム|

JP4888192B2|2007-03-30|2012-02-29|株式会社ニコン|撮像装置|

US8717412B2|2007-07-18|2014-05-06|Samsung Electronics Co., Ltd.|Panoramic image production|

TW200907557A|2007-08-08|2009-02-16|Behavior Tech Computer Corp|Camera array apparatus and the method for capturing wide-angle video over a network|

JP4623200B2|2008-10-27|2011-02-02|ソニー株式会社|画像処理装置、画像処理方法およびプログラム|

JP4623199B2|2008-10-27|2011-02-02|ソニー株式会社|画像処理装置、画像処理方法およびプログラム|

JP4623201B2|2008-10-27|2011-02-02|ソニー株式会社|画像処理装置、画像処理方法およびプログラム|

JP5347716B2|2009-05-27|2013-11-20|ソニー株式会社|画像処理装置、情報処理方法およびプログラム|

KR101665130B1|2009-07-15|2016-10-25|삼성전자주식회사|복수의 인물에 대한 이미지 생성 장치 및 방법|

US9036898B1|2011-01-18|2015-05-19|Disney Enterprises, Inc.|High-quality passive performance capture using anchor frames|

JP5863423B2|2011-11-30|2016-02-16|キヤノン株式会社|情報処理装置、情報処理方法及びプログラム|

US9106789B1|2012-01-20|2015-08-11|Tech Friends, Inc.|Videoconference and video visitation security|

US8948517B2|2013-03-01|2015-02-03|Adobe Systems Incorporated|Landmark localization via visual search|KR101567497B1|2014-02-11|2015-11-11|동서대학교산학협력단|축 방향 분산 영상 기법을 이용한 가려진 영상 도출 시스템 및 그 방법|

KR101470442B1|2014-10-21|2014-12-08|주식회사 모리아타운|모바일 단말의 광각 영상 통화 방법 및 장치|

JP2017212698A|2016-05-27|2017-11-30|キヤノン株式会社|撮像装置、撮像装置の制御方法およびプログラム|

CN108322625B|2017-12-28|2020-06-23|杭州蜜迩科技有限公司|一种基于全景图的全景视频制作方法|

JP6587006B2|2018-03-14|2019-10-09|エスゼットディージェイアイテクノロジーカンパニーリミテッドＳｚＤｊｉＴｅｃｈｎｏｌｏｇｙＣｏ．，Ｌｔｄ|動体検出装置、制御装置、移動体、動体検出方法、及びプログラム|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

JP2011213890A|JP2013074572A|2011-09-29|2011-09-29|画像処理装置、画像処理方法及びプログラム|

[返回顶部]